문단 클릭 = 시작 위치 선택 · 재생은 우하단 버튼/P (재생 중 클릭 = 점프)

1장. 파운데이션 모델을 활용한 AI 애플리케이션 입문

출처 — Chip Huyen(지은이)·변성윤(옮긴이), 『AI 엔지니어링』(한빛미디어, 2025), 1장 (pp. 32~85). 원문 PDF ai_engineering_final_v11_260909.pdf (2026-09-09 판)

언어 모델이 자기 지도 학습 덕분에 대규모 언어 모델과 파운데이션 모델로 확장된 과정, 파운데이션 모델이 만들어낸 다양한 애플리케이션 패턴, 애플리케이션을 만들기 전에 던져야 할 질문들, 그리고 AI 엔지니어링이 전통적인 ML 엔지니어링과 어떻게 다른지 — 이 책 전체가 딛고 설 개관을 다진다.

학습 목표

이 장을 끝내면 다음을 할 수 있다.

언어 모델이 자기 지도 학습을 통해 대규모 언어 모델·파운데이션 모델로 확장되어 온 과정을 설명한다.
파운데이션 모델을 활용한 대표적인 애플리케이션 패턴(코딩·이미지와 동영상 제작·글쓰기·교육·대화형 봇·정보 집계·데이터 체계화·워크플로 자동화)을 구분한다.
AI 애플리케이션을 기획할 때 활용 사례 평가·기대치 설정·마일스톤 계획·유지보수라는 네 단계를 실제 의사결정에 적용한다.
AI 엔지니어링 스택의 세 계층(애플리케이션 개발·모델 개발·인프라)을 구분하고, AI 엔지니어링이 전통적인 ML 엔지니어링·풀스택 엔지니어링과 무엇이 같고 다른지 비교한다.

전체 흐름도

[ 언어 모델 ]  ── 컨텍스트에서 다음 토큰을 예측하는 통계 모델 (1950년대~)
      │  자기 지도 학습(레이블링 불필요) → 데이터 병목 해소
      ▼
[ 대규모 언어 모델(LLM) ]  ── 파라미터 규모 확대: 1.17억(2018) → 15억(2019) → 1,000억+(현재)
      │  더 많은 데이터 모달리티 통합(이미지·오디오·비디오 등)
      ▼
[ 파운데이션 모델 ]  ── 특정 작업 전용 모델 → 범용 모델. 멀티모달(LMM)·임베딩 모델(CLIP) 포함
      │
      ├─ 조정 기법: 프롬프트 엔지니어링 · RAG(검색 증강 생성) · 파인튜닝
      │
      ▼
[ AI 엔지니어링의 부상 ]  ── 3대 요인: ① 범용 AI 능력 ② AI 투자 증가 ③ 낮아진 진입장벽(서비스형 모델)
      │
      ▼
[ 파운데이션 모델 활용 사례 (8범주) ]
      코딩 · 이미지/동영상 제작 · 글쓰기 · 교육 · 대화형 봇 · 정보 집계 · 데이터 체계화 · 워크플로 자동화
      │
      ▼
[ AI 애플리케이션 기획 (4단계) ]
      1) 활용 사례 평가(왜 만드나·직접 개발 vs 구매·AI-사람 역할·방어 가능성)
      2) 기대치 설정(비즈니스 지표·품질/지연/비용 지표)
      3) 마일스톤 계획(0→60은 쉽고 60→100은 어렵다)
      4) 유지보수(변화의 4유형: 긍정적·적응 쉬움·적응 어려움·치명적)
      │
      ▼
[ AI 엔지니어링 스택 (3계층) ]
      애플리케이션 개발(평가·프롬프트 엔지니어링·AI 인터페이스)
      모델 개발(모델링과 학습·데이터셋 엔지니어링·추론 최적화)
      인프라(서빙·데이터/컴퓨팅 관리·모니터링)
      │
      ▼
[ 2장 이후 ]  파운데이션 모델의 학습 방식(2장)부터 평가·프롬프트·RAG·파인튜닝·데이터셋·추론 최적화·아키텍처로 확장

0. 용어 사전

참고 — 위쪽 4개는 이 장을 읽기 전에 알아야 하는 선행 용어다. 이 장은 이 책의 첫 장이라 가리킬 앞 장이 없으므로, 선행 용어는 원문 밖 일반 AI/소프트웨어 지식에서 가져왔다(book_map.md 「첫 장·마지막 장의 예외」). 낯설면 기본적인 머신러닝 입문 자료를 먼저 보는 것이 좋다.

한글 용어	원문 영문명	의미
머신러닝(ML)	Machine Learning	(선행) 데이터를 기반으로 스스로 규칙(모델)을 학습하는 소프트웨어 기법 전반. 사람이 문제 풀이 예시를 많이 보고 스스로 요령을 터득하듯, 정답이 붙은 데이터를 많이 보여주면 기계가 스스로 규칙을 찾아낸다고 생각하면 된다. 이 장 전체가 "모델"이라 부르는 것이 바로 ML의 산출물이다. 본문 전반
딥러닝	Deep Learning	(선행) 여러 층의 인공 신경망으로 데이터를 학습하는 ML 기법. 공장의 여러 검수 단계를 거치며 제품이 점점 더 정교하게 다듬어지듯, 데이터가 여러 층을 통과할 때마다 더 추상적인 특징이 뽑혀 나온다고 보면 된다. 이 장이 언급하는 알렉스넷·트랜스포머는 모두 딥러닝 모델이다. §1.1
API	Application Programming Interface	(선행) 서로 다른 소프트웨어가 정해진 규칙으로 데이터를 주고받는 접점. 식당 메뉴판으로 주문하면 주방 안 조리 과정을 몰라도 음식이 나오듯, 내부 동작을 몰라도 정해진 요청 형식만 지키면 결과를 돌려받는 창구다. "모델을 API로 노출한다"는 표현이 이 장 전체에서 반복된다. §1.3
GPU	Graphics Processing Unit	(선행) 원래 그래픽 연산용이었으나 대규모 행렬 연산에 강해 모델 학습·추론의 핵심 하드웨어가 된 처리 장치. 한 사람이 계산을 순서대로 혼자 푸는 것(CPU)과 달리, 수백 명이 작은 계산을 동시에 나눠 푸는 대형 작업장에 가깝다. §4.2
토큰	Token	언어 모델이 다루는 텍스트의 기본 단위. 문자·단어·단어의 일부가 될 수 있다. §1.1
토큰화	Tokenization	원문을 모델이 정한 길이의 토큰으로 나누는 과정. §1.1
어휘	Vocabulary	모델이 다룰 수 있는 모든 토큰의 집합. §1.1
언어 모델	Language Model	하나 이상의 언어에 대한 통계 정보를 인코딩해, 주어진 컨텍스트에서 어떤 단어가 나올지 예측하는 모델. §1.1
마스크 언어 모델	Masked Language Model	문장 중간이 비어 있을 때 앞뒤 컨텍스트로 그 빈칸을 채우도록 학습된 모델(예: BERT). §1.1
자기회귀 언어 모델	Autoregressive Language Model	이전 토큰만 보고 다음 토큰을 예측하도록 학습된 모델. 오늘날 텍스트 생성의 주류다. §1.1
생성형 AI	Generative AI	정해진 답 없이 개방형 결과물을 만들어내는 생성 모델에서 유래한 용어. §1.1
자기 지도 학습	Self-Supervised Learning	입력 데이터 자체에서 레이블을 추론해 학습하는 방식. 명시적 레이블링이 필요 없다. §1.1
지도 학습	Supervised Learning	사람이 미리 붙인 레이블이 있는 데이터로 모델을 학습하는 방식. §1.1
파라미터	Parameter	학습 과정에서 값이 업데이트되는 모델 내부 변수. 모델 규모의 척도로 흔히 쓰인다. §1.1
대규모 언어 모델(LLM)	Large Language Model	자기 지도 학습으로 방대한 텍스트를 학습해 규모가 매우 커진 언어 모델. §1.1
멀티모달 모델	Multimodal Model	텍스트 외에 이미지·오디오·비디오 등 둘 이상의 데이터 형태를 함께 처리하는 모델. §1.2
대규모 멀티모달 모델(LMM)	Large Multimodal Model	생성형 멀티모달 모델을 가리키는 용어. §1.2
임베딩 모델	Embedding Model	원본 데이터의 의미를 담은 벡터(임베딩)로 변환하도록 학습된 모델(예: CLIP). §1.2
파운데이션 모델	Foundation Model	특정 작업이 아니라 범용으로 쓰도록 설계된, 대규모 언어·멀티모달 모델을 아우르는 용어. §1.2
모델로서의 서비스	Model as a Service	소수의 조직이 개발한 모델을 API 등으로 다른 사람이 이용할 수 있게 제공하는 방식. §1.1·§1.3
프롬프트 엔지니어링	Prompt Engineering	모델 가중치를 바꾸지 않고 입력(지시·컨텍스트)만으로 원하는 동작을 이끌어내는 기법. §1.2·§4.2
검색 증강 생성(RAG)	Retrieval-Augmented Generation	데이터베이스 검색으로 모델의 지시를 보완하는 기법. §1.2
파인튜닝	Fine-tuning	이미 학습된 모델을 특정 작업에 맞게 추가로 학습해 가중치를 업데이트하는 기법. §1.2·§4.2
AI 엔지니어링	AI Engineering	파운데이션 모델을 기반으로 애플리케이션을 만드는 과정. §1.3
전통적인 ML	Traditional ML	이 책에서 파운데이션 모델 이전의 모든 ML을 가리키는 용어. §1(각주)
사전 학습	Pre-training	가중치를 무작위로 초기화한 모델을 처음부터 학습하는 과정. §4.2
사후 학습	Post-training	모델 제공업체가 사전 학습 이후에 수행하는 추가 학습을 가리키는 용어(파인튜닝과 기술적으로 유사). §4.2
데이터셋 엔지니어링	Dataset Engineering	AI 모델의 학습·조정에 필요한 데이터를 선별·생성·주석 처리하는 일. §4.2
추론 최적화	Inference Optimization	모델을 더 빠르고 저렴하게 만드는 작업. §4.2
휴먼 인 더 루프	Human-in-the-loop	AI의 의사결정 과정에 사람을 참여시키는 방식. §3.1
방어 가능성	Defensibility	경쟁사가 쉽게 따라 하지 못하도록 제품을 지키는 힘(기술력·데이터·유통력). §3.1

1. AI 엔지니어링의 부상

1.1 언어 모델에서 대규모 언어 모델로

언어 모델은 하나 이상의 언어에 대한 통계 정보를 인코딩해, 주어진 컨텍스트에서 어떤 단어가 나타날 것 같은지 알려준다. 이 통계적 특성은 오래전부터 알려져 있었다 — 1905년 셜록 홈즈가 영어에서 가장 흔한 글자(E)를 이용해 암호를 해독한 일화, 그리고 클로드 섀넌이 2차 세계대전 중 적의 메시지를 해독하며 1951년 논문 「Prediction and Entropy of Printed English」로 발표한 엔트로피 개념이 대표적이다. 오늘날 언어 모델링에도 이 개념들이 여전히 쓰인다.

언어 모델의 기본 단위는 토큰이다. 토큰은 문자·단어·단어의 일부(예: '-tion')가 될 수 있다. GPT-4는 "I can't wait to build awesome AI applications"를 9개 토큰으로 나누는데, 이때 'can't'는 'can'과 't' 두 토큰으로 갈린다. GPT-4 기준 토큰 하나의 평균 길이는 단어의 약 3/4이므로 100 토큰은 약 75개 단어에 해당한다. 모델이 다룰 수 있는 모든 토큰의 집합을 어휘라 하는데, 믹스트랄 8x7B는 32,000개, GPT-4는 100,256개의 어휘를 갖는다.

언어 모델은 왜 문자·단어가 아닌 토큰을 쓰는가. ① 토큰은 문자보다 단어를 의미 있는 구성 요소로 나눌 수 있다(예: '요리하기' → '요리' + '하기'). ② 고유 토큰 수가 고유 단어 수보다 적어 어휘 크기가 줄고 모델이 효율적이다. ③ 모르는 단어를 처리할 때도 도움이 된다('chatgpting' → 'chatgpt' + '-ing').

언어 모델은 토큰을 예측할 때 쓰는 정보에 따라 두 유형으로 나뉜다.

마스크 언어 모델 — 빈칸 전후 컨텍스트로 시퀀스 어느 위치든 누락된 토큰을 예측한다(예: BERT). 새 텍스트를 생성하지 않는 감정 분석·텍스트 분류, 전체 컨텍스트 이해가 필요한 코드 디버깅에 주로 쓰인다.
자기회귀 언어 모델 — 이전 토큰만 보고 다음 토큰을 예측한다. 토큰을 하나씩 순차 생성할 수 있어 오늘날 텍스트 생성의 대세다. 이 책에서 별도 언급이 없으면 언어 모델은 자기회귀 모델을 가리킨다.

자기회귀 언어 모델은 프롬프트가 주어지면 이를 완성하려는 완성 기계로 볼 수 있다. "사느냐 죽느냐"라는 프롬프트에 ", 그것이 문제로다"를 잇는 식이다. 이 완성 능력은 확률에 기반한 예측일 뿐 정확성이 보장되지 않지만, 번역("How are you in French is..." → "Comment ça va")이나 스팸 분류("이 이메일은 스팸인가요?" → "스팸일 가능성 높음")처럼 폭넓은 작업에 활용된다. 다만 완성은 대화와 같지 않다 — 모델이 질의에 답하는 대신 또 다른 질의로 문장을 완성해 버릴 수 있으며, 모델이 사용자 요청에 적절히 응답하게 만드는 방법은 2장 '사후 학습' 절에서 다룬다.

자기 지도 학습이 규모 확장의 열쇠다. 사기 탐지처럼 대부분의 ML 모델은 레이블이 붙은 데이터로 학습하는 지도 학습을 쓴다. 딥러닝 혁명을 이끈 알렉스넷(2012)은 이미지넷의 100만 개 이미지에 사람이 붙인 레이블로 학습한 지도 학습의 성과였다. 그런데 레이블링은 비용이 크다 — 이미지 100만 개에 개당 5센트만 잡아도 5만 달러, 범주를 100만 개로 늘리면 5천만 달러까지 치솟는다. 반면 자기 지도 학습은 입력 데이터 자체에서 레이블을 추론한다. "I love street food"라는 문장 하나에서 언어 모델은 다음과 같은 6개의 학습 샘플을 얻는다.

입력(컨텍스트)	출력(다음 토큰)
`<BOS>`	I
`<BOS>, I`	love
`<BOS>, I, love`	street
`<BOS>, I, love, street`	food
`<BOS>, I, love, street, food`	`<EOS>`

<BOS>·<EOS>는 시퀀스의 시작·끝을 표시하는 특수 토큰이며, 특히 <EOS>는 모델이 응답을 끝낼 시점을 알게 해준다는 점에서 중요하다. 책·블로그·기사·댓글처럼 텍스트 시퀀스는 어디에나 있으므로, 자기 지도 학습은 레이블링 병목 없이 방대한 학습 데이터를 확보할 길을 열었다.

참고 — 자기 지도 학습과 비지도 학습은 다르다. 자기 지도 학습은 입력에서 레이블을 추론하지만, 비지도 학습은 레이블이 아예 필요 없다.

'대규모'라는 말은 과학적 용어가 아니다. 2018년 6월 오픈AI의 첫 GPT는 파라미터 1억 1,700만 개로 '대규모'였지만, 2019년 2월 GPT-2(15억 개)가 나오자 그 규모는 '소규모'가 되었다. 책 집필 시점 기준으로는 1,000억 개 파라미터를 대규모로 본다. 모델이 클수록 학습 용량이 커지므로 성능을 극대화하려면 더 많은 데이터가 필요하다 — 큰 모델을 작은 데이터셋에 쓰는 것은 컴퓨팅 자원 낭비일 뿐이다.

1.2 대규모 언어 모델에서 파운데이션 모델로

언어 모델은 글자에만 국한된다. 사람이 시각·청각·촉각으로도 세상을 인식하듯, AI가 실제 세상에서 유의미하게 작동하려면 글자 이상을 처리해야 한다. 그래서 언어 모델은 더 많은 데이터 모달리티로 확장되고 있다 — GPT-4V와 클로드 3(2023년 당시 최신 세대)은 이미지와 텍스트를 함께 이해했고, 일부 모델은 동영상·3D 에셋·단백질 구조까지 다룬다. 둘 이상의 데이터 형태를 처리하는 모델을 멀티모달 모델, 그중 생성형 모델을 대규모 멀티모달 모델(LMM)이라 부른다.

많은 사람이 여전히 이런 모델을 LLM이라 부르지만, 파운데이션 모델이라 부르는 것이 더 적절하다 — '파운데이션(기반)'이란 말은 이 모델들이 다양한 요구에 맞게 발전시킬 수 있는 토대라는 뜻을 담는다. 파운데이션 모델은 AI 연구의 전통적 구조(자연어 처리는 텍스트, 컴퓨터 비전은 이미지, 음성 인식·합성은 오디오를 각각 독립적으로 다루던 구조)를 무너뜨렸다.

멀티모달 모델도 규모 확장에는 데이터가 필요하고, 여기서도 자기 지도 학습이 통한다. 오픈AI는 '자연어 지도'라는 자기 지도의 변형으로 CLIP(2021)을 학습했다 — 인터넷에서 함께 발견되는 (이미지, 텍스트) 쌍을 수집해, 수동 레이블링 없이 이미지넷보다 400배 큰 4억 개의 쌍으로 구성된 데이터셋을 만들었다. 덕분에 CLIP은 사상 최초로 추가 학습 없이도 여러 이미지 분류 작업을 일반화할 수 있었다.

참고 — CLIP은 생성 모델이 아니라 임베딩 모델이다. 텍스트와 이미지를 함께 임베딩하도록 학습되었으며, 임베딩은 원본 데이터의 의미를 담아내는 벡터로 이해하면 된다(자세한 내용은 3장 '임베딩 소개' 절에서 다룬다). CLIP 같은 멀티모달 임베딩 모델은 플라밍고·LLaVA·제미나이 같은 생성형 멀티모달 모델의 핵심이다.

파운데이션 모델은 특정 작업 전용 모델에서 범용 모델로의 전환을 뜻한다. 예전에는 감정 분석용 모델이 번역을 못 하고 그 반대도 마찬가지였지만, 파운데이션 모델은 하나로 감정 분석과 번역을 모두 수행한다. 다만 특정 작업 성능을 더 올리려면 여전히 파인튜닝이 필요하다. 제품 설명 생성 애플리케이션을 예로 들면, 기존 상용 모델이 정확한 설명은 만들어도 브랜드 고유의 목소리를 못 살릴 수 있다. 이때 쓸 수 있는 세 가지 조정 기법이 바로 이 책 전체가 다룰 대표적인 AI 엔지니어링 기법이다.

프롬프트 엔지니어링 — 원하는 결과 예시와 상세 지시를 프롬프트에 담아 모델을 유도한다.
검색 증강 생성(RAG) — 데이터베이스(예: 고객 리뷰)를 연결해 지시를 보완한다.
파인튜닝 — 고품질 데이터셋으로 모델을 추가 학습한다.

특정 작업용 모델을 처음부터 만들려면 100만 개 예시와 6개월이 필요할 수 있지만, 기존 파운데이션 모델을 조정하는 데는 10개 예시와 주말 하루면 될 수 있다. 다만 작업 특화 모델도 여전히 장점이 있다 — 보통 더 작아 빠르고 저렴하다. 직접 모델을 만들지 기존 모델을 쓸지는 전형적인 '구매 또는 개발' 결정이다.

1.3 파운데이션 모델에서 AI 엔지니어링으로

AI 엔지니어링은 파운데이션 모델을 기반으로 애플리케이션을 만드는 과정이다. AI 애플리케이션 자체는 10년 넘게 만들어져 왔고 그 과정은 ML 엔지니어링(MLOps)이라 불렸다. 전통적인 ML 엔지니어링이 모델 자체를 개발하는 것이라면, AI 엔지니어링은 이미 존재하는 모델을 활용한다. 강력한 파운데이션 모델의 이용 가능성과 접근성은 다음 세 요인으로 이어져 AI 엔지니어링의 급성장을 만들었다.

요인 1: 범용 AI 능력. 파운데이션 모델은 기존 작업을 더 잘하는 것을 넘어, 더 많은 작업을 할 수 있어 강력하다. 이전에 불가능하다고 여겨진 서비스가 가능해지고, 이전에 생각 못 한 애플리케이션이 계속 등장한다. 이메일 작성, 고객 응대, 계약서 설명 같은 커뮤니케이션 작업이 자동화되고, 누구나 고품질 이미지·동영상 생성 도구에 접근할 수 있게 되었다.

요인 2: AI 투자 증가. 챗GPT의 성공 이후 벤처 캐피털·기업 모두 AI 투자를 급격히 늘렸다. 골드만삭스 리서치는 2025년까지 AI 투자가 미국에서 1,000억 달러, 전 세계적으로 2,000억 달러에 이를 것으로 예상했다(참고로 미국 초중등 공교육비 지출은 약 9,000억 달러다). 팩트셋에 따르면 2023년 2분기 S&P 500 기업 3곳 중 1곳이 실적 발표에서 AI를 언급했는데 이는 전년 대비 3배다. 월스트리트젠 조사로는 AI를 언급한 기업의 주가가 평균 4.6% 오른 반면 언급하지 않은 기업은 2.4% 올랐다(인과관계인지 상관관계인지는 불분명하다).

요인 3: 낮아진 진입장벽. 서비스형 모델 접근 방식 — 모델이 API로 노출되어 단일 호출로 강력한 모델에 접근하는 방식 — 덕분에 AI 애플리케이션 개발이 훨씬 쉬워졌다. AI가 코드를 작성해주므로 소프트웨어 엔지니어링 배경이 없는 사람도 아이디어를 코드로 빠르게 옮길 수 있고, 프로그래밍 언어 없이 대화체로도 모델을 쓸 수 있다. 다만 파운데이션 모델을 직접 개발하려면 여전히 막대한 자원이 필요해 대기업·정부·자금력 있는 스타트업만 가능하다 — 그래서 오픈AI CEO 샘 올트먼은 대다수에게 가장 큰 기회는 이런 모델을 특정 애플리케이션에 적용하는 것이라 말했다.

그 결과 AI 엔지니어링은 소프트웨어 엔지니어링 분야 중 가장 빠르게 성장하는 분야가 되었다 — 불과 2년 만에 오토GPT·스테이블 디퓨전 웹 UI·랭체인·올라마 4개의 오픈소스 AI 엔지니어링 도구가 깃허브에서 비트코인보다 많은 별을 받았다. 2023년 8월 링크드인 조사에서는 '생성형 AI'·'챗GPT'·'프롬프트 엔지니어링' 같은 용어를 프로필에 추가한 전문가 수가 매달 평균 75%씩 늘었다.

참고 — 왜 'AI 엔지니어링'인가. ML 엔지니어링·MLOps·AIOps·LLMOps 등 이미 많은 용어가 있었다. 저자가 ML 엔지니어링을 택하지 않은 이유는 파운데이션 모델을 활용하는 방식이 전통적인 ML 모델 개발과 중요한 지점에서 다르기 때문이고(§4.2에서 자세히 다룬다), 'Ops'로 끝나는 용어를 피한 이유는 운영보다 파운데이션 모델을 조정하는 엔지니어링 자체에 집중하고 싶었기 때문이다. 실제로 파운데이션 모델 기반 애플리케이션을 만드는 20명을 설문한 결과 대부분이 'AI 엔지니어링'을 선호해 그 용어를 따랐다.

2. 파운데이션 모델 활용 사례

파운데이션 모델은 범용적이라 잠재적 애플리케이션의 수가 무궁무진하고, 조사마다 분류 기준도 다르다(AWS는 고객 경험·직원 생산성·프로세스 최적화 3범주로, 2024년 오라일리 설문은 프로그래밍·데이터 분석·고객 지원 등 8범주로 나눴다). 엘룬두 등(2023)의 연구는 AI와 AI 기반 소프트웨어가 작업 완료 시간을 50% 이상 줄일 수 있으면 그 작업이 'AI에 노출'된 것으로 정의했다 — 통역사·번역가, 세무 대리인, 웹 디자이너, 작가는 노출 비율이 거의 100%에 가까웠고, 요리사·석공·운동선수는 전혀 노출되지 않았다.

저자는 50개 기업 인터뷰·100개 이상의 사례 연구와, 깃허브 별 500개 이상을 받은 205개 오픈소스 AI 애플리케이션을 분석해 다음 8범주로 활용 사례를 정리했다.

범주	소비자 활용 사례 예시	기업 활용 사례 예시
코딩	코딩 도구	코딩
이미지와 비디오 제작	사진·비디오 편집	프레젠테이션·광고 생성
글쓰기	이메일·소셜 미디어·블로그	카피라이팅·SEO, 보고서·설계 문서
교육	개인 지도, 글 채점	직원 온보딩·능력 향상 교육
대화형 봇	일반 챗봇, AI 친구	고객 지원, 제품 코파일럿
정보 집계	요약, 문서와 대화하기	요약, 시장 조사, 지식 관리
데이터 체계화	이미지 검색	문서 처리, 데이터 추출·입력·주석
워크플로 자동화	여행·이벤트 계획	리드 생성, 고객 요청 관리

하나의 애플리케이션이 여러 범주에 걸칠 수 있다 — 대화하며 정보를 모아주는 봇, PDF에서 데이터를 추출하며 질의에도 답하는 도구가 그 예다. 기업은 대체로 위험이 낮은 애플리케이션을 선호해, 외부 지향(고객 지원 챗봇)보다 내부 지향(사내 지식 관리) 애플리케이션을 더 빠르게 도입한다 — 내부 도구가 데이터 프라이버시·규정 준수·치명적 실패 위험을 최소화하면서 조직의 AI 엔지니어링 전문성을 키워주기 때문이다.

2.1 코딩

코딩은 생성형 AI 설문조사에서 가장 인기 있는 활용 사례다. 초기 AI 엔지니어 상당수가 개발자여서 가장 익숙한 코딩 문제에 AI를 먼저 적용했기 때문이기도 하다. 깃허브 코파일럿은 출시 2년 만에 연간 반복 매출 1억 달러를 넘겼고, 'gpt-engineer'·'screenshot-to-code' 같은 오픈소스 도구는 1년 안에 각각 5만 개의 깃허브 별을 받았다. 특화 도구의 예로는 웹 페이지·PDF에서 구조화 데이터 추출, 자연어를 코드로 변환, 스크린샷을 웹사이트 코드로 변환, 언어·프레임워크 간 번역, 문서·테스트·커밋 메시지 자동 생성이 있다.

맥킨지 연구에 따르면 AI는 개발자의 문서화 생산성을 2배로, 코드 생성·리팩터링 생산성을 25~50% 높일 수 있지만, 매우 복잡한 작업에서는 그 효과가 미미했다. AI 코딩 도구 개발자들은 AI가 백엔드보다 프런트엔드 개발에서 더 뛰어난 성능을 보인다고 말한다. AI가 소프트웨어 엔지니어를 완전히 대체할지는 논쟁적이지만, 분명한 것은 기업이 더 적은 엔지니어로 더 많은 성과를 낼 수 있게 되었다는 점이다.

2.2 이미지 및 동영상 제작

확률적 특성 덕분에 AI는 창의적 작업에서 강점을 보인다. 미드저니(이미지)·어도비 파이어플라이(사진 편집)·런웨이·피카 랩스·소라(영상)가 대표적이며, 미드저니는 출시 1년 반 만에 연간 반복 수익 2억 달러를 달성했다. 소셜 미디어 프로필 사진 생성에도 AI가 널리 쓰인다 — 2019년 페이스북(메타)이 안전상의 이유로 AI 생성 프로필 사진 계정을 금지했던 것과 달리, 2023년 이후에는 많은 소셜 미디어가 오히려 AI 생성 도구를 제공한다. 기업은 광고·마케팅에서 홍보 이미지·동영상을 직접 생성하고, 계절·위치에 맞춰 기존 광고를 변형하는 데도 AI를 쓴다.

2.3 글쓰기

LLM이 문장 완성을 위해 학습된다는 점을 생각하면 글쓰기에 강한 것은 자연스럽다. MIT 연구진이 453명의 전문가에게 글쓰기 과제를 맡기고 절반에게 챗GPT를 쓰게 한 실험에서, 챗GPT를 쓴 집단은 작업 시간이 40% 줄고 결과물 품질은 18% 향상됐다 — 특히 글쓰기 능력이 낮은 사람일수록 도움을 더 많이 받았다. 기업은 영업·마케팅·팀 커뮤니케이션에 AI 글쓰기를 흔히 쓰며, 그래멀리처럼 모델을 파인튜닝해 문장을 다듬는 서비스도 있다.

다만 이 능력은 악용되기도 한다 — 2023년 뉴욕타임스는 아마존에 AI가 조잡하게 쓴 여행 가이드북이 넘쳐난다고 보도했고, 2023년 6월 뉴스가드는 저품질 AI 생성 웹사이트에서 141개 브랜드의 광고를 거의 400개 발견했다(그중 한 사이트는 하루 1,200개 기사를 생산했다).

2.4 교육

AI는 교과서 요약, 학생별 맞춤 강의 계획 생성, 학습자 성향에 맞춘 자료 변환(청각 학습자를 위한 낭독, 시각 자료 커스터마이징, 수학 방정식의 코드 변환)에 쓸 수 있다. 특히 언어 학습에서 역할 연기 상대가 될 수 있고, 파약과 비크넬(듀오링고, 2022)의 연구는 코스 제작 4단계 중 '수업 개인화' 단계가 AI 혜택을 가장 크게 받는다고 밝혔다. AI는 퀴즈를 생성·채점하고 토론 파트너가 될 수도 있다 — 다만 학생 과제를 돕던 체그 같은 기업은 학생들이 AI로 눈을 돌리면서 주가가 2022년 11월 28달러에서 2024년 9월 2달러로 폭락하기도 했다.

2.5 대화형 봇

대화형 봇은 정보 탐색·개념 설명·아이디어 브레인스토밍을 돕고, 친구·상담가 역할을 하거나 특정 인물의 성격을 모방하기도 한다. 연구 분야에서는 봇 그룹으로 사회를 시뮬레이션해 사회 역학을 연구하기도 한다(Park et al., 2023). 기업에서 가장 인기 있는 것은 고객 지원 봇이다 — 사람 상담원보다 비용을 줄이면서 더 빠르게 응답할 수 있다. 챗GPT의 성공으로 텍스트 기반 봇이 대세가 되었지만, 구글 어시스턴트·시리·알렉사 같은 음성 비서는 수년 전부터 있었고, 게임에서는 3D 대화형 AI 캐릭터(스마트 NPC)가 게임의 스토리라인과 몰입도를 바꾸고 있다.

2.6 정보 집계

AI는 정보를 취합·요약하는 데 뛰어나다 — 세일즈포스의 2023 생성형 AI 스냅샷 연구에 따르면 사용자의 74%가 복잡한 아이디어 추출·정보 요약에 AI를 쓴다. '문서와 대화하기'는 문서·계약서·설명서를 대화 형식으로 검색·요약하는 활용 사례를 가리킨다. 인스타카트가 사내 프롬프트 마켓플레이스를 출시했을 때 가장 인기 있던 템플릿은 회의록·이메일·슬랙 대화를 사실·미해결 질문·실행 항목으로 요약하는 '빠른 항목별 정리'였다 — 이렇게 뽑힌 실행 항목은 자동으로 프로젝트 추적 도구에 삽입되어 담당자에게 할당될 수 있다.

2.7 데이터 체계화

사진·동영상·로그·PDF는 계속 늘어나는 비정형·반정형 데이터다. AI는 이미지·동영상에 텍스트 설명을 자동 생성하거나 검색어와 이미지를 매칭할 수 있고(구글 포토), 데이터 시각화·이상치 탐지·매출 예측 같은 데이터 분석에도 강하다. 기업은 신용카드·운전면허증·영수증·이메일 푸터에서 연락처를 뽑는 간단한 작업부터 계약서·보고서·차트에서 데이터를 추출하는 복잡한 작업까지 AI로 처리한다. 지능형 데이터 처리(IDP) 산업은 연 32.9%씩 성장해 2030년까지 128억 1천만 달러 규모에 이를 것으로 추산된다.

2.8 워크플로 자동화

AI의 궁극적 목표는 가능한 한 많은 영역을 자동화하는 것이다. 최종 사용자에게는 레스토랑 예약·환불 요청·여행 계획·양식 작성 같은 반복 작업을, 기업에는 잠재 고객 관리·청구·비용 정산·데이터 입력 같은 업무를 자동화해 준다. 다만 레스토랑 예약처럼 여러 작업을 수행하려면 대개 검색 엔진·전화·캘린더 같은 외부 도구 접근이 필요하다 — 스스로 계획을 세우고 도구를 쓸 수 있는 AI를 에이전트라 부르며, 6장의 중심 주제다. 데이터에 레이블을 생성하고 사람이 이를 개선하는 데이터 합성 활용도 여기 포함되며, 자세한 내용은 8장에서 다룬다.

3. AI 애플리케이션 기획

파운데이션 모델로 멋진 데모를 만드는 것은 쉽지만, 수익성 있는 제품을 만드는 것은 어렵다. 생계를 위해 이 일을 한다면 먼저 왜, 어떻게 할지부터 점검해야 한다.

3.1 활용 사례 평가

가장 먼저 물어야 할 질문은 "왜 이 애플리케이션을 만들려 하는가"다. 위험 수준이 높은 순서로 세 가지 이유가 있다.

AI를 가진 경쟁사에게 밀려 생존을 위협받는 경우 — 최우선 순위가 되어야 한다. 2023년 가트너 조사에서 임원 7%가 이를 도입 동기로 꼽았고, 금융 분석·보험·문서 처리나 광고·디자인 같은 창의적 업무에서 흔하다.
이익·생산성 증대 기회를 잡으려는 경우 — 대부분 기업이 이 이유로 AI를 받아들인다. 카피라이팅·고객 지원 개선·영업 리드 생성 등이 해당한다.
기술 흐름에서 뒤처질 것이 불안한 경우 — 모든 유행을 좇을 필요는 없지만(코닥·블록버스터·블랙베리처럼 너무 늦게 반응해 실패한 기업들이 있다), 여유가 되면 자원을 투자해 두는 것이 나쁜 생각은 아니다.

좋은 이유를 찾았다면 직접 만들지 구매할지를 고려한다 — 생존에 결정적이라면 내부 개발이 낫고, 생산성 향상이 목적이라면 기존 솔루션 구매가 시간·비용 면에서 유리할 수 있다.

애플리케이션에서 AI와 사람의 역할. 애플이 정리한 세 가지 축이 개발 방식과 요구사항을 좌우한다.

핵심적 vs 보완적 — 앱이 AI 없이 작동 못 하면 핵심적(예: 페이스 ID), 없어도 작동하면 보완적이다(예: 지메일 스마트 작성). AI가 핵심적일수록 더 높은 정확도·신뢰성이 요구된다.
반응형 vs 선제형 — 반응형은 요청에 응답하고(챗봇), 선제형은 적절한 시점에 먼저 정보를 제시한다(구글 맵스 교통 알림). 반응형은 즉시 응답해야 해 지연 시간이 짧아야 하고, 선제형은 미리 계산해 둘 수 있어 지연 시간 부담이 적은 대신 불필요한 참견으로 느껴지지 않도록 훨씬 높은 품질 기준이 필요하다.
동적 vs 정적 — 동적은 사용자 데이터로 계속 업데이트되고(페이스 ID), 정적은 서비스 업그레이드 때만 갱신된다(구글 포토의 객체 탐지). AI 맥락의 동적 방식은 사용자별 파인튜닝이나 챗GPT 메모리처럼 개인화 장치로 구현된다.

사람의 역할도 명확히 해야 한다 — AI가 사람 상담원에게 응답 초안만 보여줄지, 단순 요청만 처리하고 복잡한 요청은 사람에게 넘길지, 모든 요청에 직접 응답할지를 정한다. 사람을 의사결정에 참여시키는 것을 휴먼 인 더 루프라 하며, 마이크로소프트는 2023년 자동화를 점진적으로 늘리는 크롤-워크-런 프레임워크를 제안했다 — 크롤(사람 참여 필수) → 워크(AI가 내부 직원과 직접 상호작용) → 런(외부 사용자와도 직접 상호작용). AI 품질이 검증되며 사람 역할도 바뀐다 — 예를 들어 사람 상담원의 AI 제안 수락률이 95%로 높아지면, 간단한 요청은 AI가 사용자와 직접 상호작용하도록 넘길 수 있다.

AI 제품 방어 가능성. 독립 제품으로 판매한다면 방어 가능성을 고려해야 한다 — 낮은 진입 장벽은 축복이자 저주라, 쉽게 만들 수 있는 것은 경쟁사도 쉽게 만든다. 파운데이션 모델 위에 애플리케이션을 얹는 것은 그 모델들 위에 한 계층을 얹는 셈이라, 모델 성능이 좋아지면 그 계층이 흡수되어 쓸모없어질 수 있다(예: 챗GPT가 PDF를 직접 대규모로 파싱하게 되면 PDF 파싱 전용 앱의 경쟁력은 약해진다). AI 분야의 경쟁 우위는 기술력·데이터·유통력으로 나뉜다. 파운데이션 모델을 쓰면 대부분 회사의 기술력은 비슷해지고, 유통력 우위는 대개 대기업이 갖는다. 데이터 우위는 더 미묘한데, 스타트업이 먼저 시장에 나가 사용 데이터를 쌓으면 그것이 해자가 될 수 있다(데이터 플라이휠). 캘린들리·메일침프·포토룸처럼 더 큰 제품의 기능이 될 법했던 서비스로 시작해 결국 그 경쟁사를 뛰어넘은 스타트업도 많다.

3.2 기대치 설정

무엇을 만들지 정했다면 성공을 어떻게 측정할지 정해야 한다. 가장 중요한 것은 애플리케이션이 비즈니스에 미치는 영향이다. 고객 지원 챗봇이라면 자동화 비율, 처리 가능 메시지 양, 응답 속도, 절감 인력 같은 비즈니스 지표를 쓸 수 있다 — 다만 메시지에 잘 답한다고 사용자가 만족한다는 보장은 없으므로 고객 피드백을 함께 추적해야 한다(피드백 시스템 설계는 10장 '사용자 피드백' 절 참고).

공개 전 최소 성능 기준도 정해야 한다. 여기엔 응답 품질을 재는 품질 지표, TTFT(첫 토큰까지 걸리는 시간)·TPOT(출력 토큰당 시간)·전체 지연 시간을 포함하는 지연 시간 지표(수용 가능한 지연 시간은 활용 사례에 따라 다르다 — 현재 응답 시간 중앙값이 1시간인 업무라면 그보다만 빨라도 충분할 수 있다), 추론 요청당 비용 같은 비용 지표, 해석 가능성·공정성 같은 기타 지표가 포함된다.

3.3 마일스톤 계획

목표를 세웠다면 이를 달성할 계획이 필요하다. 우선 기존 모델의 성능을 평가해 능력을 파악한다 — 목표가 고객 지원 티켓 60% 자동화인데 기존 모델이 이미 30%를 처리한다면 나머지 30%만 채우면 되므로 훨씬 수월하다. 평가 후에는 목표가 바뀔 수도 있다(자원이 예상 수익보다 크면 프로젝트를 접을 수도 있다).

특히 유의할 것은 마지막 단계의 어려움이다. 좋은 초기 데모는 좋은 최종 제품을 보장하지 않는다. 울트라챗 논문(딩 등, 2023)은 "0에서 60까지 가는 여정은 쉽지만 60에서 100으로 가는 것은 매우 어렵다"고 밝혔고, 링크드인(2024)은 원하는 경험의 80%는 한 달 만에 달성했지만 95%를 넘기는 데 4개월이 더 걸렸다고 공유했다 — 대부분의 시간이 문제점 해결과 환각 대응에 쓰였고, 1%씩 성능을 높이는 속도가 느려 점차 의욕이 꺾였다고 한다.

3.4 유지보수

목표 달성 후에는 시간이 지나며 제품을 어떻게 유지보수할지도 생각해야 한다. AI 분야는 지난 10년간, 그리고 앞으로 10년간도 빠르게 움직일 것이다. 변화는 네 가지 유형으로 나눌 수 있다.

긍정적인 변화 — 모델 한계 해소, 컨텍스트 길이 증가, 출력 품질 향상, 추론 속도·비용 개선(2022~2024년 MMLU 벤치마크에서 추론 비용은 급격히 낮아지고 성능은 올라갔다). 다만 오늘의 최선이 내일의 최악이 될 수 있어 계속 비용 편익 분석이 필요하다(예: 자체 모델 개발이 저렴해 보였는데 3개월 후 제공업체가 가격을 절반으로 내리는 경우).
적응하기 쉬운 변화 — 모델 제공업체들이 비슷한 API 형태를 쓰면서 모델 교체가 쉬워지고 있다. 다만 모델마다 특징이 달라 프롬프트·데이터 조정은 여전히 필요하며, 버전 관리·평가 인프라가 없으면 이 과정이 힘들 수 있다.
적응하기 어려운 변화 — 규제 변화가 대표적이다. GDPR 준수 비용은 기업에 90억 달러로 추산되고, 컴퓨팅 자원 규제(2023년 10월 미국 행정명령 등)로 GPU 가용성이 하룻밤 사이 바뀔 수 있다.
치명적인 변화 — 지식재산권(IP)과 AI 사용에 관한 규제가 계속 바뀌는 것이 대표적이다. 다른 사람의 데이터로 학습된 모델 위에 제품을 만들 때 그 IP가 영원히 자신의 것이라 확신할 수 있는지는 불확실하며, 게임 스튜디오 같은 IP 중심 기업은 이 때문에 AI 사용을 망설이기도 한다.

4. AI 엔지니어링 스택

4.1 AI의 세 가지 계층

모든 AI 애플리케이션 스택은 위에서부터 애플리케이션 개발 → 모델 개발 → 인프라 세 계층으로 이뤄지며, 보통 최상위 계층에서 시작해 필요에 따라 아래로 내려간다.

애플리케이션 개발 — 모델에 적절한 프롬프트와 컨텍스트를 제공하는 계층. 철저한 평가와 좋은 인터페이스가 필요하며, 지난 2년간 가장 활발했다.
모델 개발 — 모델링·학습·파인튜닝·추론 최적화 프레임워크를 포함하고, 데이터셋 엔지니어링도 여기 속한다. 역시 철저한 평가가 필요하다.
인프라 — 모델 서빙, 데이터·컴퓨팅 관리, 모니터링 도구를 포함하는 맨 아래 계층.

2024년 3월 별 500개 이상을 받은 AI 관련 깃허브 저장소 920개를 조사한 결과, 2023년(스테이블 디퓨전·챗GPT 도입 이후) 애플리케이션·AI 엔지니어링 계층의 증가율이 가장 높았고 인프라 계층은 상대적으로 완만하게 성장했다 — 모델·애플리케이션은 계속 바뀌어도 리소스 관리·서빙·모니터링 같은 핵심 인프라 요구는 크게 변하지 않기 때문이다.

파운데이션 모델을 둘러싼 창의성이 전례 없는 수준에 이르렀지만, 비즈니스 지표와 ML 지표를 연계하는 것, 체계적으로 실험하는 것(모델·프롬프트·검색 알고리즘·샘플링 변수를 바꿔가며), 모델을 빠르고 저렴하게 만드는 것, 운영 데이터로 반복 개선하는 피드백 루프를 구축하는 것 — 이 원칙들은 여전히 유효하다.

4.2 AI 엔지니어링 대 ML 엔지니어링

파운데이션 모델을 사용한 애플리케이션 개발은 전통적인 ML 엔지니어링과 세 가지 측면에서 다르다.

전통적인 ML은 파운데이션 모델이 없어 애플리케이션에 필요한 모델을 직접 학습시켜야 하지만, AI 엔지니어링은 이미 학습된 모델을 가져다 쓴다 — 그래서 모델링·학습보다 모델 조정에 초점을 맞춘다.
AI 엔지니어링은 더 크고 더 많은 컴퓨팅을 소비하며 지연 시간도 큰 모델을 다뤄, 효율적인 학습·추론 최적화 압박이 더 크다.
AI 엔지니어링은 개방형 출력을 내는 모델을 다뤄 유연하지만 그만큼 평가하기가 더 어렵다.

모델을 조정하는 기법은 가중치 업데이트 여부로 두 갈래다. 프롬프트 기반 기법(프롬프트 엔지니어링 포함)은 가중치를 바꾸지 않고 지시·컨텍스트로 반응을 유도한다 — 시작이 쉽고 데이터가 거의 필요 없어 많은 성공적 애플리케이션이 이 방식만으로 만들어졌지만, 복잡한 작업이나 엄격한 성능 기준에는 부족할 수 있다. 파인튜닝은 가중치를 업데이트해 모델 자체를 새 작업에 맞게 바꾼다 — 더 복잡하고 데이터가 많이 필요하지만 품질·지연 시간·비용을 크게 개선할 수 있으며, 학습 중 노출되지 않은 작업에 적응시키는 등 가중치를 안 바꾸고는 불가능한 일에 쓰인다.

학습·사전 학습·파인튜닝·사후 학습의 구분. 학습이라는 용어는 가중치가 변하는 모든 과정을 뜻하는 것은 아니다(양자화는 가중치 값을 바꾸지만 학습이 아니다). 사전 학습은 가중치를 무작위로 초기화한 모델을 처음부터 학습하는 것으로 압도적으로 가장 많은 자원(예: InstructGPT는 전체 자원의 98%)과 시간이 든다. 파인튜닝은 이미 학습된 모델을 추가로 학습하는 것으로, 사전 학습보다 적은 자원이 든다. 사후 학습은 기술적으로 파인튜닝과 거의 같지만, 업계에서는 보통 "누가 수행하는가"로 구분한다 — 모델 제공업체가 하면 사후 학습, 애플리케이션 개발자가 하면 파인튜닝이라 부른다. 참고로 프롬프트 엔지니어링을 "학습시켰다"고 표현하는 것은(예: 챗GPT에 자신의 일기를 넣어 "따라 하도록 학습시켰다"는 표현) 일상적으로는 통하지만 기술적으로는 잘못된 용어 사용이다.

데이터셋 엔지니어링도 달라진다. 전통적인 ML의 활용 사례는 대개 '폐쇄형'(스팸/정상처럼 출력이 정해짐)이라 정형 데이터를 다루지만, 파운데이션 모델은 '개방형'(글쓰기처럼 무수한 응답이 가능)에 비정형 데이터를 다뤄, 주석 작업이 훨씬 어렵고 중요해진다(자세한 내용은 8장). 추론 최적화의 중요성도 커졌다 — 파운데이션 모델은 대개 자기회귀적이라 토큰을 순차 생성하는데, 토큰 하나에 10ms가 걸리면 100토큰 출력에 1초가 걸린다. 사용자는 일반 인터넷 애플리케이션 수준의 지연(100ms)을 기대하므로, 추론 최적화(양자화·증류·병렬화 등, 7~9장에서 다룬다)는 산업·학계 모두의 활발한 분야가 되었다.

전통적인 ML에서는 팀이 자체 모델로 애플리케이션을 개발해 모델 품질 자체가 차별화 요소였지만, 파운데이션 모델 시대에는 많은 팀이 같은 모델을 써서 애플리케이션 개발 계층을 통해 차별화해야 한다. 이 계층은 평가·프롬프트 엔지니어링·AI 인터페이스로 구성된다.

평가 — 모델 선택, 진행 상황 벤치마킹, 배포 준비 판단, 운영 중 문제 발견에 쓰이는, 조정 전체 주기에 걸쳐 필요한 활동이다. 파운데이션 모델의 개방성·확장된 능력 때문에 평가가 훨씬 어렵다 — 폐쇄형 작업(사기 탐지)은 정답과 비교하면 되지만, 챗봇처럼 개방형 응답에는 하나의 정답이 없다. 조정 기법이 많아진 것도 평가를 어렵게 한다 — 구글이 2023년 제미나이를 챗GPT보다 MMLU에서 우수하다고 주장했지만, 그것은 제미나이는 CoT@32(32번 추론 후 다수결)로, 챗GPT는 5-샷으로 평가한 결과였다. 두 모델을 동일한 5-샷 조건으로 재비교하면 챗GPT가 더 높은 성능을 보였다.
프롬프트 엔지니어링 및 컨텍스트 구성 — 가중치를 바꾸지 않고 입력만으로 원하는 동작을 이끌어내는 것으로, 단순히 지시만 주는 것이 아니라 작업에 필요한 컨텍스트·도구를 함께 제공하는 일이다(제미나이의 MMLU 성능은 프롬프트 기법만으로 83.7%에서 90.04%까지 올랐다). 긴 컨텍스트가 필요한 작업에는 메모리 관리 시스템도 필요할 수 있다(5장·6장에서 각각 다룬다).
AI 인터페이스 — 최종 사용자가 애플리케이션과 상호작용하는 인터페이스를 만드는 일이다. 독립 제품(챗GPT·퍼플렉시티)일 수도, 다른 제품에 통합되는 형태(VS 코드 플러그인인 코파일럿, 구글 독스 확장인 그래멀리)일 수도 있다. 채팅 인터페이스가 흔하지만 음성 기반·증강현실 같은 실체화된 형태도 있으며, 새로운 인터페이스는 사용자 피드백을 수집하는 새로운 방법도 의미한다(10장).

4.3 AI 엔지니어링 대 풀스택 엔지니어링

애플리케이션 개발, 특히 인터페이스에 대한 강조가 커지면서 AI 엔지니어링은 풀스택 개발에 가까워지고 있다. 전통적으로 ML 엔지니어링은 파이썬 중심이었지만, LangChain.js·Transformers.js·오픈AI의 Node 라이브러리·Vercel의 AI SDK처럼 자바스크립트 API 지원이 늘고 있다. 전통적인 ML 엔지니어링은 보통 데이터를 모으고 모델을 학습한 뒤 제품을 마지막에 만들었지만, 오늘날에는 모델을 쉽게 쓸 수 있어 제품을 먼저 만들고 가능성이 보일 때만 데이터·모델에 투자하는 순서가 가능해졌다. 그 결과 전통적인 ML 엔지니어링에서는 모델 개발과 제품 개발이 분리된 경우가 많았던 반면, AI 엔지니어링에서는 AI 엔지니어가 제품 개발에 훨씬 더 많이 참여하는 경향이 있다.

이 장은 파운데이션 모델의 등장으로 AI 엔지니어링이 하나의 분야로 자리 잡은 과정과, 그 기반 위에 애플리케이션을 만드는 전반적인 과정을 개관으로 다뤘다. 개요를 다루는 장이라 많은 개념을 가볍게만 짚었으며, 각 개념은 책의 나머지 부분(2장 파운데이션 모델의 학습 방식부터)에서 더 깊이 다뤄진다.

핵심 개념 정리

개념	한 줄 설명
언어 모델의 진화	언어 모델 → (자기 지도 학습으로) 대규모 언어 모델 → (멀티모달 확장으로) 파운데이션 모델
마스크 vs 자기회귀 언어 모델	전자는 빈칸을 양방향 컨텍스트로 채움(분류·디버깅에 적합), 후자는 이전 토큰만으로 다음 토큰을 순차 생성(오늘날 텍스트 생성의 대세)
자기 지도 학습	입력 자체에서 레이블을 추론해 학습 — 레이블링 병목을 없애 모델 규모 확장을 가능케 한 핵심
세 가지 조정 기법	프롬프트 엔지니어링(가중치 불변) · RAG(검색으로 보완) · 파인튜닝(가중치 갱신)
AI 엔지니어링 성장 3요인	범용 AI 능력 · AI 투자 증가 · 서비스형 모델로 낮아진 진입장벽
8대 활용 사례 범주	코딩 · 이미지/동영상 제작 · 글쓰기 · 교육 · 대화형 봇 · 정보 집계 · 데이터 체계화 · 워크플로 자동화
AI-사람 역할 판단 축	핵심적/보완적 · 반응형/선제형 · 동적/정적 — 세 축이 요구 정확도·지연 시간·개인화 방식을 결정
방어 가능성 3요소	기술력(파운데이션 모델로 평준화) · 데이터(데이터 플라이휠) · 유통력(대기업 우위)
애플리케이션 기획 4단계	활용 사례 평가 → 기대치 설정 → 마일스톤 계획(0→60은 쉽고 60→100은 어려움) → 유지보수
AI 엔지니어링 스택 3계층	애플리케이션 개발(평가·프롬프트·인터페이스) · 모델 개발(모델링·데이터셋·추론 최적화) · 인프라(서빙·관리·모니터링)
AI 엔지니어링 vs ML 엔지니어링	모델 조정에 집중 · 더 큰 컴퓨팅 자원 · 개방형 출력이라 평가가 더 어려움

실무 체크리스트

[ ] 이 애플리케이션을 만들려는 이유가 생존 위협·기회 포착·기술 흐름 대응 중 무엇인지 분명히 했는가 — 그에 따라 직접 개발할지 구매할지도 함께 판단했는가?
[ ] 이 기능이 핵심적인지 보완적인지 정했고, 핵심적이라면 그만큼 높은 정확도·신뢰성 기준을 세웠는가?
[ ] 반응형 기능의 지연 시간 기준과 선제형 기능의 품질 기준을 각각 따로 정했는가(선제형은 훨씬 높은 품질이 필요하다는 점을 반영했는가)?
[ ] 사람의 역할(초안 제시·단순 요청만 자동화·완전 자동화 중 어디쯤인지)을 명시하고, 크롤-워크-런처럼 점진적으로 넓힐 계획이 있는가?
[ ] 이 제품의 방어 가능성이 기술력·데이터·유통력 중 어디서 오는지 설명할 수 있는가 — 파운데이션 모델 성능이 좋아지면 이 계층이 흡수될 위험은 없는가?
[ ] 품질 지표만이 아니라 지연 시간(TTFT·TPOT)·비용·공정성 지표까지 포함한 최소 성능 기준을 배포 전에 정했는가?
[ ] 초기 데모의 성공(0→60)을 최종 제품의 완성(60→100)과 혼동하지 않고, 남은 구간에 필요한 시간·자원을 별도로 예산에 반영했는가?
[ ] 두 모델을 비교할 때 프롬프트 기법(예: CoT@32 vs 5-샷)이 다르지 않은지 확인했는가 — 조건이 다르면 벤치마크 숫자를 그대로 믿지 않았는가?
[ ] 모델 제공업체 교체·가격 변동·규제 변화처럼 유지보수 단계에서 생길 수 있는 변화 유형을 미리 분류해 대응 계획을 세웠는가?
[ ] 이 작업이 애플리케이션 개발·모델 개발·인프라 중 어느 계층에 속하는지 구분하고, 그에 맞는 평가 방법을 함께 계획했는가?

연습문제

개념. 자기 지도 학습이 지도 학습과 비교해 언어 모델의 규모를 키우는 데 결정적이었던 이유를 설명하고, "I love street food"라는 문장 하나가 왜 여러 개의 학습 샘플을 만들어내는지 근거를 들어 답하라.
비교. 마스크 언어 모델과 자기회귀 언어 모델의 학습 방식 차이를 설명하고, 감정 분석 작업과 챗봇 응답 생성 작업에 각각 어느 쪽이 더 적합한지 근거와 함께 판단하라.
적용. 사내 문서 검색 챗봇을 새로 기획하고 있다. 이 애플리케이션이 "핵심적인지 보완적인지", "반응형인지 선제형인지", "동적인지 정적인지" 세 축으로 분류하고, 그 분류가 요구 정확도·지연 시간 기준에 어떤 영향을 주는지 서술하라.
설계. 고객 지원 챗봇을 처음 배포하려 한다. 크롤-워크-런 프레임워크를 적용해 3단계 로드맵을 설계하고, 각 단계에서 사람 상담원의 역할이 어떻게 달라지는지, 다음 단계로 넘어가는 기준(예: AI 제안 수락률)을 무엇으로 삼을지 제시하라.
판단. 한 팀이 자체 파운데이션 모델을 파인튜닝하는 대신 프롬프트 엔지니어링만으로 제품을 출시하려 한다. 이 결정이 합리적인 조건과, 오히려 파인튜닝이 필요해지는 조건을 각각 근거를 들어 판단하라.

부록 A. 핵심 비교표

프롬프트 기반 기법 vs 파인튜닝

구분	프롬프트 기반 기법	파인튜닝
가중치 변경	하지 않음	함
시작 난이도	쉬움 — 데이터 거의 불필요	어려움 — 데이터·컴퓨팅 필요
적합한 경우	간단한 작업, 빠른 실험	복잡한 작업, 엄격한 성능 기준, 학습에 없던 새 작업 적응
얻는 것	넓은 실험 범위, 의외의 성과 발견 가능성	품질·지연 시간·비용의 큰 개선

사전 학습 vs 파인튜닝 vs 사후 학습

구분	사전 학습	파인튜닝	사후 학습
시작 가중치	무작위 초기화	이전 학습 결과값	이전 학습 결과값
필요 자원	압도적으로 가장 많음(예: 전체의 98%)	사전 학습보다 적음	파인튜닝과 유사
수행 주체	모델 제공업체	애플리케이션 개발자	모델 제공업체(관례상 구분)
목적	텍스트 완성 등 기초 능력 확보	특정 목적에 맞게 조정	지시를 더 잘 따르도록 조정

마스크 언어 모델 vs 자기회귀 언어 모델

구분	마스크 언어 모델	자기회귀 언어 모델
예측 방식	빈칸 전후 컨텍스트로 누락 토큰 예측	이전 토큰만으로 다음 토큰 예측
생성 방식	새 텍스트 생성에 덜 쓰임	토큰을 순차적으로 생성
대표 예	BERT	오늘날 대부분의 텍스트 생성 모델
적합한 작업	감정 분석, 텍스트 분류, 코드 디버깅(전후 이해 필요)	대화·글쓰기 등 개방형 텍스트 생성

반응형 vs 선제형 AI 기능

구분	반응형	선제형
동작 방식	요청·행동에 응답	적절한 시점에 먼저 정보 제시
지연 시간 요구	짧아야 함(즉시 응답)	상대적으로 덜 중요(미리 계산 가능)
품질 기준	상대적으로 관대	훨씬 높음(안 물었는데 틀리면 참견으로 느껴짐)
예시	챗봇	구글 맵스 교통 알림

부록 B. 추천 참고 자료

외부 자료 (Tier 1 공식, 생존·리다이렉트 확인 2026-09-12)

MMLU-Pro 논문(NeurIPS 2024) — 최신 동향에서 다룬 MMLU 포화 논의와 후속 벤치마크의 원출처. MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark
GPQA 논문 — MMLU와 함께 최신 동향에서 언급한 또 다른 후속 벤치마크의 원출처. GPQA: A Graduate-Level Google-Proof Q&A Benchmark
엘룬두 등(2023) "GPTs are GPTs" — §2·§3.1이 인용한 직업별 AI 노출도 연구의 원문. GPTs are GPTs: Labor Market Impact Potential of LLMs
랭체인 공식 문서 — 최신 동향에서 다룬, 오토GPT류 자율 에이전트에서 상태 기반 오케스트레이션으로의 전환을 확인할 수 있는 공식 레퍼런스. LangChain 공식 문서
Claude 모델 개요 — §1.2가 예로 든 옛 모델명 대신 현재 모델을 확인하는 공식 경로. Claude 모델 개요
OpenAI 플랫폼 문서 — 위와 같은 목적의 OpenAI 쪽 공식 경로. OpenAI 문서

더 해보기 — 읽고 끝내지 않으려면

사용 중인 채팅 서비스(챗GPT·클로드·제미나이 등)에서 같은 질문을 프롬프트만 바꿔 3번 물어보고, §4.2가 설명한 "조정 기법에 따라 벤치마크 점수가 달라진다"는 말이 실제 응답 품질 차이로도 느껴지는지 비교해 본다.
표 1-3의 8범주 중 자신의 업무·일상과 가장 가까운 범주를 하나 골라, 지금 쓰고 있거나 알고 있는 AI 도구가 그 범주의 "소비자 예시"·"기업 예시" 중 어느 쪽에 더 가까운지 §2의 표와 대조해 본다.
§3.1의 세 축(핵심적/보완적·반응형/선제형·동적/정적)으로 자신이 자주 쓰는 AI 기능(예: 스마트폰 자동완성, 지도 앱의 경로 추천) 하나를 직접 분류해 본다.

본 책 연계 챕터

챕터	이 장이 다루지 않은 것
2장 §3 사후 학습	이 장 §1.1이 "모델이 사용자 요청에 적절히 응답하게 만드는 방법"으로 미뤄 둔 내용 — 모델이 완성 기계에서 지시를 따르는 챗봇으로 바뀌는 구체적 학습 과정
3장 §5 참조 데이터 유사도 측정 · §6 임베딩 소개	이 장 §1.2가 이름만 소개한 CLIP·임베딩 모델의 구조와 실제 평가 방법
5장 전체 프롬프트 엔지니어링	이 장 §1.2·§4.2가 이름만 소개한 프롬프트 엔지니어링의 구체적 기법(예시 선택·지시 작성법)
6장 §1 RAG란 무엇이고 왜 필요한가, 6장 §5 에이전트란 무엇인가	이 장 §1.2가 이름만 소개한 RAG의 구체 구현, §2.8이 이름만 소개한 에이전트의 도구 사용 방식
7장 전체 파인튜닝	이 장 §1.2·§4.2가 개념만 소개한 파인튜닝의 실제 절차와 비용 계산
8장 §1 데이터 중심 AI와 데이터셋 엔지니어링의 부상	이 장 §2.8이 이름만 언급한 데이터 합성·주석 작업의 구체적 방법
9장 전체 추론 최적화	이 장 §4.2가 지연 시간 계산 예시(10ms×100토큰)만 보여준 추론 최적화 기법(양자화·증류·병렬화)의 실제 내용
10장 §2 사용자 피드백	이 장 §3.2가 미뤄 둔 피드백 시스템 설계 방법

부록 C. 연습문제 풀이

(자기 지도 학습과 학습 샘플) 지도 학습은 사람이 붙인 레이블이 필요해 데이터가 늘수록 레이블링 비용이 기하급수로 커진다(이미지넷 100만 장에 5만 달러, 100만 범주로 늘리면 5천만 달러). 반면 자기 지도 학습은 입력 시퀀스 자체에서 레이블(다음에 올 토큰)과 그 예측에 쓸 컨텍스트를 동시에 얻을 수 있어 레이블링 병목이 없다. "I love street food"는 <BOS>부터 각 토큰까지 컨텍스트를 하나씩 늘려 가며 다음 토큰을 예측하게 만들 수 있으므로, 한 문장에서 <BOS>→I, <BOS>,I→love, <BOS>,I,love→street, <BOS>,I,love,street→food, <BOS>,I,love,street,food→<EOS> 등 총 6개의 (컨텍스트, 다음 토큰) 학습 샘플이 자동으로 만들어진다. 텍스트는 책·블로그·댓글처럼 어디에나 있으므로 이 방식은 방대한 학습 데이터를 사람 손 없이 확보하게 해 준다.
(마스크 vs 자기회귀 언어 모델) 마스크 언어 모델은 빈칸의 앞뒤 컨텍스트를 모두 보고 그 자리의 토큰을 예측하도록 학습되므로, 문장 전체를 동시에 이해해야 하는 작업(감정 분석·텍스트 분류)에 적합하다. 자기회귀 언어 모델은 이전 토큰만 보고 다음 토큰을 순차적으로 예측하도록 학습되어 텍스트를 한 토큰씩 생성해 나갈 수 있으므로, 대화 응답처럼 개방형 텍스트를 새로 만들어야 하는 챗봇에는 자기회귀 모델이 적합하다. 감정 분석은 이미 있는 문장의 속성을 판정하는 폐쇄형 작업이라 양방향 이해가 유리한 마스크 모델도 잘 맞지만, 챗봇은 없던 문장을 순차적으로 만들어내야 하므로 자기회귀 모델이 필요하다.
(사내 문서 검색 챗봇 분류) 이 챗봇은 사용자가 질문해야 응답이 시작되므로 반응형이고, 그 질문에 문서 검색 결과를 종합해 답하는 것이 앱의 주된 기능이라면 핵심적이다(검색 없이 챗봇만 있으면 쓸모가 없다). 여러 사용자가 같은 문서 저장소를 공유하고, 저장소 업데이트 때만 색인이 갱신된다면 정적에 가깝다. 반응형이므로 사용자가 기다리는 동안 응답해야 해 지연 시간 기준(TTFT 등)이 엄격해야 하고, 핵심적이므로 잘못된 문서를 인용하거나 답이 틀리면 신뢰가 바로 무너지므로 반응형·정적 조합치고는 상대적으로 높은 정확도 기준이 함께 필요하다.
(크롤-워크-런 로드맵) 크롤 단계에서는 AI가 관련 문서·과거 응답 사례를 찾아 사람 상담원에게 보여주기만 하고 상담원이 실제 답변을 작성한다 — 모든 응답에 사람이 관여한다. 워크 단계에서는 AI가 사내 직원(1차 상담원)의 질문에 직접 응답하되 외부 고객에게는 아직 노출하지 않아, 실제 운영 데이터를 안전하게 모은다. 런 단계에서는 AI가 외부 고객의 간단한 요청에 직접 응답하고, 복잡한 요청만 사람에게 넘긴다. 다음 단계로 넘어가는 기준은 AI 제안에 대한 사람 상담원의 수락률로 삼을 수 있다 — 예를 들어 워크 단계에서 간단한 요청에 대한 AI 응답의 수락률이 95% 이상으로 안정되면, 그 범주의 요청에 한해 런 단계(고객과의 직접 상호작용)로 넘어간다.
(프롬프트 엔지니어링만으로 출시하는 결정) 프롬프트 엔지니어링만으로 출시하는 것은 데이터가 거의 없고 빠르게 여러 모델·프롬프트를 실험해 봐야 하는 초기 단계, 또는 작업이 비교적 단순하고 성능 기준이 엄격하지 않을 때 합리적이다 — 시작 비용이 낮고 모델 교체도 쉬워 의외의 성과를 내는 조합을 발견할 기회도 많다. 반대로 작업이 복잡하거나(예: 학습 중 노출되지 않은 도메인 지식이 필요) 품질·지연 시간·비용에 엄격한 기준이 있어 프롬프트만으로는 그 기준을 넘지 못한다면 파인튜닝이 필요해진다. 즉 판단 기준은 "이 프롬프트 조정으로 목표 성능 기준(§3.2의 품질·지연 시간·비용 지표)을 넘을 수 있는가"이며, 넘지 못한다면 가중치 자체를 바꾸는 파인튜닝으로 넘어가야 한다.

질문

카드를 로딩 중...

답변

클릭하거나 Space를 눌러 뒤집기

0 / 0

정답 전 대기

학습 진도 0%

← → 이동 Space 뒤집기 R 셔플 P 음성 버전 2026-08-05b